When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning?
轨迹级监督下高效离线 RL 的统计条件
🧭 离线强化学习 · 轨迹级反馈理论
University of Wisconsin-Madison
提出 OPAC 算法，证明仅用轨迹级标量标签可实现样本高效离线策略优化，并刻画泛化结果监督的可处理条件
📌 工作参考价值（4 点）
- 在序列推荐或对话 Agent 中，若只有会话结束时的整体转化/点击等标量标签，可借鉴 OPAC 的悲观演员-评论家框架：先学习潜在步奖励模型，再用悲观值函数优化策略，避免盲目分配奖励导致的分布偏移恶化。
- 论文定义的泛化结果监督场景（如偏好、全成功目标）与推荐系统从会话级指标（如转化率、净推荐值）逆向学习策略高度对应，可通过结构系数 κ_μ(σ) 和 χ_μ(σ) 评估任务的信息损失，指导选择可处理的奖励聚合形式。
- 离线策略优化的悲观原则（Pessimism）在业务中已有应用，本文的理论保证（O(H^2√(C_sa/n))）为使用轨迹级反馈替代过程奖励提供了样本复杂度的量化依据，可在实验设计时预估所需数据量。
- 当结果标签与优化目标不一致时（如用点击率作为代理目标学习收益最大的策略），警惕指数级样本需求（Ω(2^H)）的陷阱，需通过线性近似或引入过程信号避免不可学习问题。